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(57) Abstract: The invention relates to a means of transport having a three-dimen- 
sional distance camera and a method for building and operating said three-dimen- 
sional distance camera in means of transport, more particularly in motor vehicles. 
The inventive method, and especially the inventive device, is suitable for utiliza- 
tion in motor vehicles as braking assistant system, damage reducing system, clos- 
ing velocity sensor system, preferably as collision detection system in the front 
area, the sides and/or the rear, for accident prevention, pedestrian protection, as 
stop-and-go or jam assistant system, parking assistant system, for example, park- 
ing space measurement, parking assistant system and/or autonomous parking. The 
invention can also be advantageously used for blind spot monitoring, as lane depar- 
ture warning system, lane changing assistant system, more particularly with blind 
spot monitoring and/or lane position detection, lane keeping support, overturning 
and/or pitching angle detection system. Furthermore, the invention can be advan- 
tageously used for night vision, as road condition detection system, door stopper, 
traffic sign detection system, light sensor, weather sensor, passability sensor and/or 
for docking support or back-up support. 

(57) Zusammenfassung: Die vorliegende Erfindung betrifft ein Verkehrsmittel 
mit einer 3D-Entfernungsbildkamera und ein Verfahren zum Aufbau und Betrei- 
ben der 3D-Entfernungsbildkamera in Verkehrsmitteln, insbesondere Kraftfahr- 
zeugen. Insbesondere ist das erflndungsgemaBe Verfahren bzw. die erfindungs- 
gc mafic Vorrichtung geeignet zur An wen dung in Kraftfahrzcugcn als Brcmsassis- 
tent, Schadensreduzierungs system, Closing Velocity-Sensorik, vorzugsweise als 
Aufprallerkennung im Frontbereich, der Seite und/oder am Heck, Unfallvermeidung, FuBgangerschutz, Stop-and-Go- bzw. Stau- 
assistent, Einparkhilfe, beispielsweise Parlduckenvermessung, Parkassistent und/oder autonomes Einparken. Weiterhin kann die 
Erfindung vorteilhaft eingesetzt werden zur Totwinkeluberwachung, als Spurverlassungswarnsystem, Spurwechselassistent, insbe- 
sondere mit Totwinkeliiberwachung und/oder Spurlageerkennung, Spurhalteassi stent, Uberschlags- und/oder Nickwinkelerkennung. 
Ferner kann mit Vorteil ein Einsatz der Erfindung bei Night Vision, zur StraBenzustandserkennung, als Turstopper, zur Verkehrszei- 
chenerkennung, als Lichtsensor, Wettersensor, Befahrbarkeitssensor und/oder zur Andockhilfe oder Ruckfahrhilfe vorgesehen sein. 
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Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb 

Die vorliegende Erfindung betrifft ein Verkehrsmittel mit einer 3D-Entfernungsbildkamera und 
ein Verfahren zum Aufbau und Betreiben der 3D-Entfernungsbildkamera in Verkehrsmitteln, 
5 insbesondere Kraftfahrzeugen, beispielsweise zur Fahrregelung und fur sicherheitsrelevante 
Reaktionen des Verkehrsmittels. 

Insbesondere ist das erfindungsgemaBe Verfahren bzw. die erfindungsgemaBe Vorrichtung 
geeignet zur Anwendung in Kraftfahrzeugen als Bremsassistent, Schadensreduzierungssystem, 
Closing Velocity-Sensorik, vorzugsweise als Aufprallerkennung im Frontbereich, der Seite 

10 und/oder am Heck, Unfallvermeidung, FuBgangerschutz, Stop-and-Go- bzw. Stauassistent, 

Einparkhilfe, beispielsweise ParklQckenvermessung, Parkassistent und/oder autonomes Einpar- 
ken. Weiterhin kann die Erfindung vorteilhaft eingesetzt werden zur Totwinkeluberwachung, als 
Spurverlassungswarnsystem, Spurwechselassistent, insbesondere mit Totwinkeluberwachung 
und/oder Spurlageerkennung, Spurhaiteassistent, Uberschlags- und/oder Nickwinkelerkennung. 

15 Ferner kann mit Vorteil ein Einsatz der Erfindung bei Night Vision, zur StraBenzustandserken- 
nung, ais Turstopper, zur Verkehrszeichenerkennung, als Lichtsensor, Wettersensor, Befahr- 
barkeitssensor und/oder zur Andockhiife oder Ruckfahrhilfe vorgesehen sein. 

Bei den unterschiedlichen Einsatzmoglichkeiten der Erfindung mussen jeweils die nachfolgen- 
den wesentlichen Anforderungen bzw. Zwecke zumindest teilweise erfullt sein. 

20 Beim Bremsassistent soil die Vorkonditionierung des Bremssystems bei Erkennung einer Ge- 
fahrensituation zur Reduzierung der System reaktionszeit erfolgen, z.B. durch Aufbau des 
Bremsdruckes im hydraulischen System und/oder Anlegen der Bremsbelage. 

Beim Schadensreduzierungssystem soil der Eingriff des Systems bei Erkennung einer nicht 
mehr abwendbaren Kollision erfolgen. Beispielsweise die Abbremsung des Fahrzeugs zur Re- 
25 duzierung des Schadens und der Verletzungsgefahr und/oder die Aktivierung von Ruckhaltesys- 
temen. Desweiteren kann der Beladungszustand des Fahrzeuges und die Fahrbahnbeschaffen- 
heit fur die Klassifizierung einer nicht mehr abwendbaren Kollision herangezogen werden so 
dass sich der Reaktions- bzw. Eingriffszeitpunkt des Systems dynamisch anpasst. 

Bei der Closing Velocity-Sensorik soil die Front-, Seiten- oder Heckaufprallerkennung, insbe- 
30 sondere die Messuhg der Annaherungsgeschwindigkeit und des Auftreffzeitpunktes eines Ob- 
jektes zur Einieitung geeigneter SchutzrnaBnahmen und/oder Anpassung von Crashparametern 
zur genaueren Klassifizierung des moglichen Unfallgeschehens und/oder Konditionierung der 
vorhandenen Sicherheitssysteme und/oder Betatigung der reversiblen Ruckhaltesysteme erfol- 
gen. 

35 
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Bei Systemen zur Unfallvermeidung 1st die Nutzung der 3D-lnformation der Umgebung gewollt, 
um durch Eingriffe in die Langs und Querregelung des Fahrzeugs Unfalle durch Abbremsen 
oder durch Ausweichmanover mogKchst zu vermeiden oder in ihren Auswirkungen zu reduzie- 
ren. 

5 Beim FuBgangerschutz soil die Detektion drohender Kollisionen mit FuBgangern erfolgen, um 
MaBnahmen zur Vermeidung schwerwiegender Verletzungen zu treffen. Ferner vorzugsweise 
auch eine Detektion zum Schutz aller schwacheren Verkehrsteilnehmer erfolgen, wie z.B. Rad- 
fahrer oder Motorradfahrer. 

Beim Einsatz als Stop-and-Go- bzw. Stauassistent soil ein PMD-basierender S&G-Stauassistent 
10 dazu dienen, den Fahrer speziell in einem Verkehrsstau zu entlasten. Er soil ferner einen mog- 
lichst automatischen Folgebetrieb im niedrigsten Geschwindigkeitsbereich ermoglichen. 

Bei Nutzung der Erfindung als Einparkhilfe liegt der Zweck in der Parkluckenvermessung, insbe- 
sondere der Vermessung der Lange, Breite und gegebenenfallsfalls Hohe einer Parklucke und 
Meldung einer potentiellen Einparkmoglichkeit an den Fahrer. Beim Parkassistent erfolgt die 
15 Vermessung der Parklucke und der eigenen Relativposition, um dem Fahrer eine Empfehlung 
fur einen optimalen Einparkvorgang zu geben. Beim autonomen Einparken erfolgt ein selbstan- 
diges Einparken des Fahrzeuges durch eine entsprechende Sensorik in Verbindung mit einer 
Langs- und Querregelung des Fahrzeuges. 

Bei der Totwinkeluberwachung ist die Anzeige von Fahrzeugen im toten Winkel bei Erkennen 
20 einer Spurwechselabsicht erforderlich (ISO/TC204/WG14/PWI14.5 Side Obstacle). 

Beim Spurverlassungswarnsystem wird ein System zum Erkennen eines unbeabsichtigten Ver- 
lassens der Fahrspur benetigt. Beispielsweise durch Vermessung der Ablage bzw. des Versat- 
zes des Fahrzeuges zur Fahrspur und nachfolgender Wamung (akustisch, haptisch, kinesta- 
tisch) an den Fahrer gemaB Vorschriften (ISO/TC2047WG14/NP17361 - Lane Departure War- 
25 ning System). 

Als Einsatz als Spurwechselassistent soil die Totwinkeluberwachung und/oder Spurlageerken- 
nung durch Oberwachung des toten Winkels und des ruckwartigen Annaherungsbereiches zur 
Unterstutzung des Fahrers beim Spurwechsel erfolgen. Die Spurwechselabsicht wird mit Hilfe 
der Spurlageerkennung ermittelt und/oder gegebenenfalls aus einer Blinkerbetatigung. 

30 Beim Spurhalteassistent wird ein System zur aktiven Unterstutzung des Fahrers bei der Spurhal- 
tung mit moderatem Lenkeingriff benotigt. 

Bei der Uberschlagserkennung soli die Berechnung der Lage des Fahrzeugs aus der Topogra- 
phie der Umgebung und damit Erkennung oder Prognostizierung eines Uberschlages erfolgen. 

Bei der Nickwinkelerkennung soli der Nickwinkel zur Fahrwerksregulierung, Lichtweitenregulie- 
35 rung oder zur Beurteilung der Justierung des Sensors selbst ermittelt werden. 
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Bei der Night Vision ist ein Erkennen von relevanten Objekten, insbesondere von Hindernissen 
in der Fahrspur im Dunkeln erfqrderlich, unter Umstanden verbunden mit einer Warnfunktion. 

Bei der StraBenzustandserkennungsoll eine Erkennung von Bodenunebenheiten, Schwellen 
moglich sein, insbesondere auch in Tempo-30-Zonen. 

5 Beim Einsatz als Turstopper soli eine Erkennung von Objekten im Offnungsbereich von Turen, 
Heckklappen, Laderampen etc. erfolgen, urn deren Bewegungsbereich zu begrenzen und dar- 
aus resultierende Beschadigungen zu vermeiden. 

Bei der Verkehrszeichenerkennung soli eine verbesserte Detektion von Verkehrszeichen durch 
die Unterscheidung von Hintergrund und/oder die Erkennung von Fahrbahnmarkierungen oder 
10 -begrenzungen (z.B. Pylonen) moglich sein, insbesondere in Baustellenbereichen. 

Beim Lichtsensor soli die Nutzung der Umgebungsinfonmation zur Beurteilung der Beleuch- 
tungsanforderungen, z.B. aufgrund einer Beurteilung der Gefahrensituation, insbesondere bei 
Erkennung von Tunneleingangen, Parkhausern etc. erfolgen. 

Beim Einsatz der Erfindung als Wettersensor soil die gleichzeitige Erkennung der Beleuch- 
15 tungssituation und evtl. vorhandener Niederschlage erfolgen. Die Klassifikation der Niederschla- 
ge nach Regen, Hagel oder Schnee aufgrund der GroBe, Flugbahn etc. soil ebenso moglich 
sein wie die Abschatzung der Seitenwindverhaltnisse aufgrund der Flugbahn der Niederschlage. 

Als Befahrbarkeitssensorsoll die Erkennung und Beurteilung der Befahrbarkeit eines Umge- 
bungsabschnittes auf Basis der 3D- Information erfolgen, insbesondere die Beurteilung der 
20 Durchfahrtsmoglichkeit nach Breite oder Hohe. Weiter soil eine Beurteilung der Bodenuneben- 
heiten im Vergleich mit der vorhandenen Bodenfreiheit des Fahrzeugs moglich sein. 

Der Einsatz der Erfindung als Andockhilfe soil ein genaues Anhalten an Servicestationen, z.B. 
zur automatischen Betankung, Drive-ln-Restaurants und fur gewerbliche Fahrzeuge an Lade- 
rampen ermoglichen. 

25 SchlieBlich sollen das erfindungsgemaBe Verfahren und die erfindungsgemaBe Vorrichtung 
optional auch als Ruckfahrhilfe zur Unterstutzung des Fahrers bei Ruckwartsfahrt, zur Erken- 
nung von Objekten bzw. Hindernissen und zur Warnung bzw. Eingriff in die Fahrzeugregelung 
einsetzbar sein. 

Aus dem Stand der Technik ist es bereits bekannt, dass die Detektion von Objekten im Umfeld 
30 von Verkehrsmitteln, insbesondere Kraftfahrzeugen, mit Hilfe von Radar, Lidar, Laserscannern, 
Triangulationssystemen, Ultraschall Oder 2D-Kameras erfolgen kann. Einzig mit Hilfe von Ste- 
reokameras ist es derzeit moglich, hochaufgeloste Entfemungsbilder in Echtzeit zu gewinnen. 
3D-Kameras, die nach dem Laserlaufzeit-Verfahren arbeiten, befinden sich derzeit noch im 
Entwicklungsstadium. Sie werden zwar vereinzelt in Industrieanwendungen eingesetzt, haben 
35 bisher aber noch keine Verwendung in der Fahrzeugtechnik gefunden. 
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Derartige 3D-Kamerasysteme sind beispielsweise auf Basis photoempfindlicher Elemente 
denkbar, bei denen durch eine Beleuchtungsquelle, bspw. eine Infrarot-Quelle modulierte Licht- 
wellen emittiert und die Reflexionen aus dem Umfeld erfasst werden, wobei durch Autokorrelati- 
on zwischen ausgesendeter und empfangener Welle die Entfernung zu Objekten im Umfeld und 
5 damit die Entfernungsinformation erforderlichenfalls pixelgenau abgeleitet werden kann. Diese 
Sensoren sind als PMD aus der WO98/10255 grundsatzlich bekannt. 

Die anderen aufgefuhrten Verfahren haben den Nachteil, dass sie entweder nicht echtzeitfahig 
sind oder aber nur die Entfernungsprofile einzelner Schnittebenen im Raum wiedergeben kon- 
nen, so dass nicht die komplette, beobachtete Szene als 3D-lnformation zur Verfugung steht. 

10 Die Folge davon ist eine mangelnde Robustheit der Objektdetektion bzw. der Entfernungsinfor- 
mation. Im Hinblick auf Sicherheitsanwendungen ist dies nicht tolerierbar, so dass nach besse- 
ren Losungen gesucht werden muss. Insbesondere Anwendungen, die den flieBenden Verkehr 
beobachten und auswerten, sind auf eine robuste Objektdetektion angewiesen. Es muss auf 
Basis der Sensorinformation unterschieden werden konnen, welche Art von Objekt sich im Urn- 

15 feld des eigenen Kfz befindet, urn entsprechende MaBnahmen zur Vermeidung von Kollisionen 
treffen zu konnen. 

Existierende Systeme zur Darstellung der Funktion nutzen in der Regel Daten von gewohnlichen 
Kameras die einen Bildverarbeitungsalgorithmus durchlaufen haben und/oder Daten von ent- 
fernungsmessenden Systemen. Fur sicherheitsrelevante Funktionen wird es notwendig sein, 

20 nicht nur die relative Lage von Objekten im Raum bestimmen zu k6nnen, d.h. die Entfernung 
und Richtung zum Fahrzeug. Es wird ebenso notig sein, zur Beurteilung der Relevanz eine Ob- 
jektklassifizierung vornehmen zu konnen. Wahrend die relative Lage im Raum von entfer- 
nungsmessenden Sensoriken erfasst wird, erhait man die Objektklassifikation aus der Bildaus- 
wertung von Kamerasystemen, die die dazu notwendige laterale Auflosung bieten. Fur eine In- 

25 terpretation der Daten wird es im AnschluB allerdings notwendig, die Ergebnisse der beiden 

Sensorsysteme zu f usionieren. Diese Datenf usion stellt einen betrachtlichen Mehraufwand und 
ein gewisses Restrisiko in der Auswertung dar. 

Beim Spurverlassungswarnsystem Oder Spurhalteassistent sind beispielsweise Systeme, die vor 
dem unbeabsichtigten Verlassen der Fahrspur warnen, bereits im Gebrauch. Sie nutzen die 
30 Bildinformation einer Kamera urn den Strassenverlauf zu erfassen und zu verfolgen. Zur Ermitt- 
lung der Spuriage wurden auch schon Infrarot-Scanner entwickelt, die den seitlichen Bereich 
neben dem Fahrzeug nach weiBen Linien abtasten. 

Gemeinsam ist diesen Systemen dass sie ausschlieBlich auf die weiBe Fahrbahnmarkierung 
reagieren. Soilte diese aus Altersgrunden einen schlechten Kontrast aufweisen oder gar nicht 
35 vorhanden sein, wurde die Verfugbarkeit derartiger Systeme deutlich eingeschrankt. Sind die 
Markierungen aufgrund von Verschmutzungen bzw. wetterbedingt (Wasser/Schnee) verdeckt 
oder gar nicht vorhanden, wird die Verfugbarkeit derartiger Systeme deutlich eingeschrankt. 
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Bei der Night Vision werden bisher Infrarotkameras (2D) zur Verbesserung der Darstellung, d.h. 
des Kontrastes des vom Fahrer in der Nacht beobachteten Bildes genutzt. 

Es ist die Aufgabe der vorliegenden Erfindung, die obigen Nachteile zu vermeiden und ein ge- 
eignetes Verkehrsmittel bzw. Verfahren zu schaffen. 

5 Zur Losung der Aufgabe wird erfindungsgemaB vorgeschlagen, zur Gewinnung von Informatio- 
nen uber das Umfeld des Verkehrsmittels eine Oder mehrere 3D-Kameras am Verkehrsmittel, 
insbesondere Fahrzeug, anzubringen bzw. durch ein Verkehrsmittel mit einer oder mehreren 
von derartigen 3D-Kameras. Die Kamera ist dabei insbesondere als 3D-Entfernungsbildkamera 
ausgebildet. Weiterbildungen und besondere Einsatzmoglichkeiten der Erfindung sind in der 
10 nachfolgenden Beschreibung aufgefGhrt. 

Die Erfindung hat viele Vorteile. Beispielsweise ist der Schritt der oben beschriebenen Datenfu- 
sion bei den Daten einer 3D-Entfernungsbildkamera nicht mehr notwendig. Die Zuordnung der 
Entfernungs- und der Bilddaten existiert bereits fur jedes Pixel. 

MaBgeblich fur den GroBteil der angef uhrten Applikationen sind die Fahigkeiten des 3D-Sensors 
15 bzw. der Kamera, die Detektjon von Objekten wesentlich zu verbessern durch die Abhebung 
vom Hintergrund in der 3D Sicht. Femer kann man die Klassifikation deutiich zu verbessern 
durch die erhohte Anzahl und Qualitat der Merkmale, die dafur zur VerfQgung stehen. Es wird 
moglich sein, die Befahrbarkeit der Umgebung zu beurteilen aufgrund der Bodenverhaltnisse. 
Oder von zur Verfugung stehenden Durchfahrtsmoglichkeiten entsprechend ihrer Breite und 
20 Hdhe. Dies wird moglich, da mit einem 3D-Sensor eine wesentlich hohere Genauigkeit bei der 
Bestimmung der Position und Ausdehnung von Objekten erreichbar ist. Es wird erfindungsge- 
maB moglich, kleinere Objekte aufzulosen und getrennt zu detektieren, laterale Geschwindig- 
keitsmessungen mit erhohter Genauigkeit durchzufuhren und sie damit in die Beurteilung der 
Gesamtsituation mit einzubeziehen, z.B. bei Ausweichmoglichkeiten, drohenden Kollisionen etc. 

25 Grundsatzlich konnen die genannten Applikationen aber naturlich unter Inkaufnahme der be- 
schriebenen Nachteile grundsatzlich auch mit einer konventionellen 2D-Kamera oder einem 
herkommlichen 3D-System mittels Stereokamera oder Kamera und Entfernungsmessern reali- 
siert werden. 

Die Einbauorte bzw. Erfassungsbereiche der Kamera in dem Verkehrsmittel sollen dabei insbe- 
30 sondere an die zu losenden Wahrnehmungsaufgaben angepasst sein. In der nachfolgenden 
Tabelle sind bevorzugte Einbauorte bzw. Erfassungsbereiche der 3D-Kameras f ur die verschie- 
denen Einsatzgebiete der vorliegenden Erfindung beispielhaft anhand eines Kraftfahrzeuges 
dargesteilt. In Klammern gesetzte Nummem geben dabei weniger wichtige, aber dennoch mog- 
liche Bereiche bzw. Einbauorte an. 
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Einsatzgebiet 


Erfassungsbereich bzw. Ort 


Bremsassistent 


1 


Schadensreduzierungssystem 


1 


Closing Velocity-Sensorik 


1.3 


FuBgangerschutz 


1. W 


Stop-and-Go/ Stauassistent 


1 


Einparkhilfe 


1,2,4 


Totwinkeluberwachung 


3 


Spurverlassungswamsystem 


1.(3) 


Spurwechselassistent 


1,3,4 


Spurhalteassistent 


1. (3) 


Uberschlagserkennung 


1,3 


Nickwinkelerkennung 


1 


Night Vision 


• 1 


Strassenzustandserkennung 


1 


Turstopper 


3, 4, (1) 


Verkehrszeichenerkennung 


1 


Lichtsensor 


1 


Wettersensor 


1 


Befahrbarkeitssensor 


1 



In Fig. 1 sind die entsprechenden Erfassungsbereiche und damit bevorzugten Einbauorte der 
3D-Kameras in einem Kraftfahrzeug gemaB der obigen Tabelle dargestellt. 

Die 3D-Kamera zeichnet sich dadurch aus, dass sie sowohl ein Grauwertbild liefert als auch ein 
5 Entfernungsbild. Mit Hilfe einer 3D-Kamera wird die benotigte Robustheit der Entfernungsmes- 
sung und Objektdetektion Srreicht. 

Das Gesichtsfeld der Kamera kann mit geeigneten Optiken der Aufgabenstellung angepasst 
werden. GleichermaBen lasst sich die Auflosung der Kamera uber die Anzahl und Verteiiung der 
Pixel des verwendeten 3D-Bildaufnehmers anpassen, so dass eine angemessene Aufnahme 
10 von Voxelinformation der beobachteten Szene ermoglicht wird. 

Fur spezielle Aufgabenstellungen, die eine Beobachtung der Fahrbahn erfordern, kann die 3D- 
Kamera auch senkrecht oder nahezu senkrecht nach unten ausgerichtet sein. 

Wesentlicher Vorteil einer 3D-Kamera im Vergleich zu anderen Systemen 1st die Eigenschaft der 
Pixel des Bildaufnehmers, sowohl die Entfernungsinformation als auch die zum selben Pixel 
15 gehorende Grauwertinformation simultan oder nahezu simultan bereitstellen zu konnen. 
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Dies ermoglicht eine Szenenauswertung, die auf zwei voneinander unabhangigen Bildinformati- 
onen beruht. Beide Bildinformationen konnen erst einmal unabhangig voneinander verarbeitet 
werden (dies betrifft beispielsweisejdie Verfahren zur Filterung, der Kantendetektion sowie der 
Mustererkennung), Danach lasst sich in einem weiteren Plausibilisierungschrrtt, der Datenfusion, 
5 die Robustheit der Objekterkennung wesentlich steigem. 

Die von der Kamera gewonnenen Daten werden in einer Bildauswerteeinheit werterverarbeitet. 
Entfernungsdaten, Grauwertdaten, Farbdaten und Objektdaten werden fur Eingriffe in das Fahr- 
zeug (Bremse, Lenkung, Gas, Getriebe, Sicherheitssysteme etc.) verwendet. 

MaBgeblich fur den GroBteil der angefuhrten Applikationen sind die Fahigkeiten des 3D-Sensors 
10 die Detektion von Objekten wesentlich zu verbessern durch die Abhebung vom Hintergrund in 
der 3D Sicht, die Klassif ikation deutlich zu verbessern durch die erhohte Anzahl und Qualitat der 
Merkmale die dafGr zur Verfugung stehen, d.h. eine Merkmaisextraktion und Objektdetektion 
anhand der 3D-Bilddaten vorzunehmen. Es wird insbesondere moglich sein, die Befahrbarkeit 
der Umgebung zu beurteilen aufgrund des StraBenzustandes Oder von zur Verfugung stehen- 
15 den Durchfahrtsmoglichkeiten entsprechen ihrer Breite und Hohe. Dies wird moglich, da mit 
einem 3D-Sensor eine wesentlich hohere Genauigkeit bei der Bestimmung der Position und 
Ausdehnung von Objekten erreichbar ist. Daruber hinaus konnen Objektschwerpunkte aus den 
3D-Daten gebildet werden. 

Es wird moglich, kleinere Objekte aufzulosen und getrennt zu detektieren, laterale Geschwindig- 
20 keitsmessungen mit erhohter Genauigkeit durchzufuhren und sie damit in die Beurteilung der 
Gesamtsituation mit einzubeziehen, z.B. bei der Beurteilung von Ausweichmoglichkeiten, dro- 
henden Kollisionen etc. Mit der feineren Auflosung wird eine Extraktion von „Minimum Distance" 
Informationen aus den 3D-Bildern als SteuergrGBe fur die Fahrzeugeingriffe mOglich. Auf Basis 
der 3D-Bilddaten, gestutzt durch die entsprechende, mit deckungsgleichen Pixeln ermittelte 
25 Grauwertinformation, kann eine Freiraumanalyse durchgefuhrt werden. Eine Bewegungsdetekti- 
on kann auf Basis der 3D-Bilder mehrachsig in alien Raumrichtungen ausgefuhrt werden. 

Grundsatzlich kdnnen die genannten Applikationen aber natGrlich unter Inkaufnahme der be- 
schriebenen Nachteile grundsatzlich auch mit einer konventionellen 2D-Kamera oder einem 
herkdmmlichen 3D-System mittels Stereokamera oder Kamera und Entfernungsrnessern reali- 
30 siert werden. 

Beim FuBgangerschutzerfolgt erfolgt beispielsweise die Nutzung der 3D-Information zur Ver- 
besserung der Klassifikation, der Abschatzung von Gr63e und Gewicht, der Position und des 
Bewegungsvektors und zur Unterscheidung von Tieren. 

Bei Stop-and-Go bzw. beim Stauassistenten erfolgt eine wesentliche Verbesserung der Positi- 
35 onsbestimmung und des Bewegungsvektors, der Ausdehnung, von Durchfahrtsbreiten und H6- 
hen, Differenzierung von kleineren Objekten, Erfassung der genauen Oberflache von vorausfah- 
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renden Fahrzeugen, insbesondere bei herausragenden Gegenstanden wie Stangen Oder hoch 
liegenden LKW's, die Zuordnung von Hindemissen oder Fahrzeugen zur Fahrspur durch gleich- 
zeitige Detektion der Fahrbahnmarkierungen, Unterscheidung von relevanten Objekten (FuB- 
ganger) von nicht relevanten Objekten (Tieren), Erkennung und Korrektur des Nickwinkelein- 
5 f lusses zur Vermeidung von Fehlreaktionen 

Bei der Einparkhilfe, also insbesondere der Parkluckenvermessung, dem Parkassistenten 
und/oder dem autonomen Einparken kann die Nutzung der 3D- Information fur eine umfassen- 
dere Beurteilung erfolgen, z.B. nicht nur gemaB der Lange, sondem auch der Breite und Hohe 
der Parklucke. AuBerdem besteht die Moglichkeit der Erkennung von kleineren Hindemissen. 

10 Bei der Totwinkeluberwachung erfolgt eine Erkennung von relevanten Objekten. Ihre Klassifizie- 
rung sowie die Bestimmung der Position und des Bewegungsvektors ist wesentlich praziser 
moglich als mit einer 2D-Sensorik. 

Beim Spurverlassungswarnsystem liegt die Idee darin, die zusatzliche 3D- Information zu nutzen, 
urn den Fahrbahnverlauf zu detektieren oder auf Plausibilitat zu uberprufen. Entsprechend nutz- 

15 bare Daten konnten z.B. Leitplanken darstellen, Leitpfosten, Fahrbahnrander wie Randsteine, 
Bewuchs, Boschungen, Graben oder die Ebenheit bzw. Beschaffenheit der Fahrbahn selbst. So 
lasst sich durch eine Auswertung der Topographie der Fahrzeugumgebung unter Umstanden 
schon auf den einzig moglichen Verlauf der Fahrbahn schlieBen. Die 3D-lnformation bereits 
einer einzigen Zeile ermoglicht uber die Zeit die Erstellung eines JHohenprofils". Unter der An- 

20 nahme, dass die Fahrbahn eben ist, der Rand hingegen versenkt (StraBengraben) oder erhoht 
(z.B. Leitplanken, Pfosten, Bewuchs), kann die Fahrbahn erkannt werden. Nutzung von speziel- 
len Fahrbahnmarkierungen bzw. Begrenzungen, insbesondere in Baustellenbereichen (Pylone). 

Fur den Einsatz der Erfindung beim Spurwechselassistenten gelten die oben zur Totwinkel- 
uberwachung und/oder dem Spurverlassungswarnsystem getroffenen Aussagen. 
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Beim Spurhatteassistent kann auf der Basis derselben Informationen wie beim Spurverlas- 
sungswarnsystem das Fahrzeug aktiv in der Spur quergefuhrt werden. Dies lasst sich erweitern 
auf Durchfahrtssituationen, wo dem Fahrer eine aktive Fuhrungsunterstutzung geboten werden 
kann, z.B. zwischen Mauern in engen Durchfahrten, in Garagen oder in Mautstationen, um das 
5 Fahrzeug automatisch durchzufuhren bzw. vor zu engen Passagen zu warnen. 

Bei der Nickwinkelerkennung ermoglicht ein 3D-Biidsensor die Bestimmung der Distanz zwi- 
schen Sensor und Fahrbahn auf dem Sehstrahl. Dabei wird das Dreieck aus Sensor-Hohe, 
Sehstrahl und Fahrbahn zur Winkelberechnung verwendet. Diese Bestimmung wird vorzugswei- 
se im Nahbereich durchgef uhrt, wo Fahrbahnneigungen noch wenig EinfluB auf den resultieren- 
10 den Winkel haben. 

Damit lassen sich Fehlreaktionen bekannter Systeme auf vertikale Strassenkrummungen oder 
hoch liegende Hindernisse (Brucken) ausschlieBen. 

Bei der Night Vision stellt die 3D-lnformation ein wichtiges Hilfsmittes zur Beurteilung der Rele- 
vanz eines Objektes dar. Der Sensor ist damit selbst in der Lage, die Reievanz und die damit 
15 verbundene Gefahr abzuschatzen und eine angemessene Warnstrategie einzuleiten. 

Die besonderen Vorteile der Erfindung liegen in der Bereitstellung einer robusten Szeneninfor- 
mation. Die 2D-Bildinformation wird simultan mit der 3D-Szeneninformation gewonnen. Dadurch 
wir der Aufwand an Nachverarbeitung und Auswertung minimiert und die Szenendaten stehen in 
Echtzeit zur Verfugung. 

20 Durch die Verwendung einer 3D-Kamera wird die Klassifikation von Objekten innerhalb der Sze- 
ne auch auf Basis von Entfernungsinformation moglich. Bisherige Systemansatze auf Basis von 
Radar, Lidar oder Ultraschall vermdgen dies nicht zu leisten. 

Der Einsatz einer 3D-Kamera kann fur verschiedene Entfernungsbereiche erfolgen. Biidaus- 
schnitte konnen durch Verwendung von Zoom-Objektiven den jeweiligen Erfordernissen ange- 
25 passt werden. Somit sind auch variable Gesichtsfelder bei der Objektdetektion moglich. 

Empfindlichkeit und Auflosung konnen den Erfordernissen in unterschiediichen Gesichtsfeldern 
angepasst werden durch eine entsprechend gewahlte Pixelarchitektur. 

lm Gegensatz zu Stereoansatzen ist es mit 3D-Entfernungsbildka-meras moglich, zwischen 
wahren und scheinbaren Objekten zu unterscheiden. Scheinbare Objekte sind z.B. StraBenmar- 
30 kierungen, Reflektoren auf der StraBe u.a.. Sie werden z.B. von Bildverarbeitungsalgorithmen 
als Objekte detektiert, obwohl es sich nicht um raumlich ausgedehnte Objekte handeit. Entfer- 
nungsbildkameras sind in der Lage, dies einfach zu erkennen. 

Beim Spurverlassungswarnsystem besteht der Vorteil der Umgebungserfassung mittels einer 
3D-Entfernungsbildkamera nicht nur im wesentlich verringerten Aufwand in der Datenauswer- 
35 tung, sondern vor allem in der stark erhohten lateralen Auflosung in der Entfemungsmessung. 
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Diese gestattet es, die Umgebung im Rechner deutlich feiner zu modeilieren, kleinere Lucken zu 
entdecken um Objekte zu unterscheiden, die laterale Lage und evtl. Geschwindigkeit genauer zu 
erfassen, die Ausdehnung der Objekte genauer vermessen zu konnen und/oder eine Durch- 
fahrtsmoglichkeit zu erkennen. Redundanz bei Kombination mit konventioneller 2D-Grauwert 
5 Kamera ist beispielsweise erforderlich fQr Sicherheitssysteme. AuBerdem ergibt sich eine hohe- 
re Verfugbarkeit, auch wenn keine Markierungen sichtbar sind. 

Fur den SpurhaJteassistent gelten diese Vorteile entsprechend. Der Spurhalteassistent kann 
ferner das Fahrzeug auch durch Baustellenbereiche leiten, wenn die entsprechenden Leitobjek- 
te z.B. die Pylonen erkannt werden. 

10 Mit den 3D-Entfernungsbildkameras erhalt man bei der Uberschlagserkennung nicht nur eine 
unabhangige Sensorik zur Bestimmung der eigenen Lage und damit zur Erg£nzung der Nei- 
gungssensorik, sondern eine bestehende Oberschiagsgefahr lasst sich vielmehr schon pradiktiv 
erfassen, z.B. beim Verlassen der Fahrbahn uber eine Boschung Oder beim Fahren uber einen 
Abhang, wenn Tragheitssensoren noch lange nicht ansprechen. Man gewinnt damit einen Zeit- 

15 vorteil zum Betatigen reversibier Ruckhaltesysteme gegenuber der bisher verwendeten Senso- 
rik. 



WO 2004/021546 



PCT/DE2003/002685 



-11 - 

Bei der Nickwinkelerkennung erfolgt mit Vorteil eine Einsparung konventioneller dedizierter Nick- 
winkel-Sensorik. 

Bei der Night Vision ermoglicht es die Inteliigenz des Sensors, d.h. die Vorbeurteilung Oder 
Klassifikation des Hindemisses verbunden mit einer entsprechenden Wamstrategie, den Fahrer 
5 maBgeblich zu entlasten, bzw. ihn angemessen auf ein auftauchendes Hindernis vorzubereiten. 
Gegebenfalls konnen die Informationen an ein vorhandenes Sicherheitsystem z.B. das Ruckhal- 
tesystem oder die Bremsenkonditionierung weitergeleitet werden. 

Bei der StraBenzustandserkennung kann bei Klassifikation von Bodenunebenheiten, z.B. bei 
Schwellen in Tempo 30 Zonen, die Geschwindigkeit automatisch angepasst werden. Dadurch 

10 konnen Beschadigungen des Fahrzeugs, z.B. durch Schlaglocher o.a., vermieden werden. Fig. 
2 zeigt dazu ein entsprechendes Struktogramm, wie aus den Graubilddaten und Entfernungsda- 
ten jeweiis Muster extrahiert, beide Muster miteinander plausibilisiert, aus der zeitlichen Abfolge 
der Daten Objekte verifiziert und uber eine Entscheidungsmatrix geeignete MaBnahmen einge- 
leitet, bspw. das Fahrwerk oder die Geschwindigkeit angepasst und ggfs. eine Warnung an den 

15 Fahrer ausgegeben werden. 

Beim Turstopper dient die ErfindungsgemaBe 3D-Kamera bzw. das erfindungsgemaBe Verfah- 
ren zur Vermeidung von Beschadigungen am Fahrzeug oder von Verletzungen. Speziell haufige 
Auffahrunfalle von Racffahrern auf srch dffnende Turen UeBen sich damit verme/den, gegebe- 
nenfalls in Verbindung mit einer Totwinkeluberwachung 

20 Beim Lichtsensor erfolgt die Nutzung der Umgebungsinformation zur Beurteilung der Beleuch- 
tungsanforderungen, z.B. aufgrund einer Beurteilung der Gefahrensituation, insbesondere bei 
Erkennung von Tunneleingangen, Parkhausern etc. 

Anstelle von 3D-Kameras werden gegenwartig Radar-, Lidar- oder Triangulationssysteme ein- 
gesetzt. Zwar kann mit diesen Systemen prinzipiell auch eine vollstandige 3D-Szene erfasst 
25 werden, doch wird hierfur eine Abtastvorrichtung benotigt, mit der die Strahlkeulen uber die 
Szene hinweggefuhrt werden mOssen. Eine Echtzeitfahigkeit ist mit Scansystemen nur sehr 
schwer zu erzielen. Dies gilt auch filr Laserscanner. 
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Patentansoruche 

1) Verkehrsmittel mit einer Umfelderfassungseinrichtung, dadurch gekennzeichnet, dass 
5 zumindest eine 3D-Entfemungsbildkamera vorgesehen ist, welche neben Grauwert- Oder 

Farbbiiddaten auch Entfemungsdaten zur Detektion von Objekten im Umfeld des Ver- 
kehrsmittels bereitstellt. 

2) Verkehrsmittel nach Anspruch 1, dadurch gekennzeichnet, dass bei der 3D- 
Entfernungsbildkamera jedem Grau- bzw. Farbbildpixel ein Entfernungswert zugeordnet 

10 wird. 

3) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass aus den Bild- und Entfemungsdaten Objekten im Umfeld des 
Verkehrsmittels detektiert werden und bei Erkennen einer Gefahrensituation das Bremssys- 
tem des Verkehrsmittels vorkonditioniert wird, indem der Bremsdruck im Bremssystem auf- 

15 gebaut und/oder die Bremsbelege angelegt werden. 

4) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass bei Erkennung einer nicht mehr abwendbaren Kollision mit ei- 
nem Objekt zur Schadensreduzierung eine Abbremsung des Fahrzeugs und/oder die Akti- 
vierung von Ruckhaltesystemen eingeleitet wird. 

20 5) Verfahren zum Betreiben eines Verkehrsmittels nach einem der AnsprQche 1 oder 2, da- 
durch gekennzeichnet, dass die Annaherungsgeschwindigkeit und der Auftreffzeitpunktes 
eines Objektes erfasst werden. 

6) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass Ausweichmanover zur Vermeidung von Unfailen Oder zur Re- 

25 duzierung in ihren Auswirkungen eingeleitet werden. 

7) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass FuBganger, Radfahrer oder Motorradfahrer im Umfeld des 
Verkehrsmittels detektiert und bei einer nicht mehr abwendbaren Kollision MaBnahmen zur 
Vermeidung schwerwiegender Verletzungen aktiviert werden. 

30 
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8) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 Oder 2, da- 
durch gekennzeichnet, dass zumindest in einem niedrigsten Geschwindigkeitsbereich das 
Verkehrsmittel einem voranfahrenden Verkehrsmittel folgt und einen Stop-and-Go- bzw. 
Stauassistent-Betrieb ermoglicht. 

9) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 Oder 2, da- 
durch gekennzeichnet, dass zur Einparkhilfe die Parklucke vermessen wird, insbesondere 
der Vermessung der Lange, Breite und gegebenenfalls Hohe einer Parklucke, und eine 
Meidung einer potentiellen Einparkmoglichkeit an den Fahrer erfolgt. 

10) Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine Vermessung der Parklu- 
cke und der eigenen Relativposition erfolgt und dem Fahrer eine Empfehlung fur einen op- 
timalen Einparkvorgang gegeben wird oder ein seibstandiges Einparken durch eine ent- 
sprechende Langs- und Querregelung des Fahrzeuges erfolgt. 

11) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass eine Anzeige von Fahrzeugen im toten Winkel bei Erkennen 
einer Spurwechselabsicht erfolgt. 

12) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass aus den Grauwert- oder Farbbilddaten in Verbindung mit den 
Entfernungsdaten eine Fahrspur des Fahrzeuges erkannt wird, und 

a) ein Spurhalten angenommen und zur aktiven Unterstutzung des Fahrers bei der Spurhal- 
tung ein hochstens moderater Lenkeingriff erfolgt, 

b) daruber hinausgehend anhand des Spurverlaufs ein unbeabsichtigtes Verlassen der Fahr- 
spur erkannt wird und eine Warnung an den Fahrer erfolgt, 

c) bei Erkennen einer Spurwechselabsicht bspw. anhand der Spuriage, Lenkstellung und/oder 
aus einer Blinkerbetatigung erfolgt eine TotwinkelGberwachung und/oder Spurlageerken- 
nung durch Uberwachung des toten Winkels und des ruckwartigen Annaherungsbereiches 
zur Unterstutzung des Fahrers beim Spurwechsel. 

13) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass aus den Grauwert- oder Farbbilddaten in Verbindung mit den 
Entfernungsdaten die Lage des Verkehrsmittels in Bezug zu seiner Umgebung ermittelt und 
daraus der Neigungswinkel zu der Langs- und/oder Quer- und/oder Vertikalachse des Ver- 
kehrsmittels abgeleitet wird. 

14) Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass aus den Neigungswinkeln ein 
drohender Uberschlag erkannt wird und am Fahrzeug entsprechende SchutzmaBnahmen 
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eingeleitet werden, beispielsweise Ruckhaltesysteme oder UberrollbGgel aktiviert oder 
Schiebedacher geschlossen werden. 

15) Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass aus den Neigungswinkeln der 
Nickwinkel erkannt wird. 

16) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass aus den Grauwert- Oder Farbbilddaten in Verbindung mit den 
Entfernungsdaten der StraBenzustand erkannt wird, insbesondere Bodenunebenheiten 
und Bodenschwellen erkannt werden und eine Warnung oder ein Fahrzeugeingriff erfolgt. 

17) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass Objekte erkannt werden, die sich im Offnungsbereich von Tu- 
ren, Heckklappen, Laderampen und ahnlichen beweglichen Teilen am Verkehrsmittel be- 
finden bzw. sich darauf zu bewegen und der Bewegungsbereich der beweglichen Teile be- 
grenzt wird, um Beschadigungen bzw. Verletzungen zu vermeiden. 

18) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass aus den Grauwert- oder Farbbilddaten in Verbindung mit den 
Entfernungsdaten Verkehrszeichen und/oder Fahrbahnbegrenzungszeichen durch die Un- 
terscheidung von Hintergrund erkannt und interpretiert werden. 

19) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass der 3D-Entfernungssensor als Wettersensor genutzt und aus 
Grauwert-, Farbbilddaten und/oder Entfernungsdaten das Wetter, insbesondere die Be- 
leuchtungssituation und evtl. vorhandener Niederschlage erkannt wird. 

20) Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass eine Klassifikation der Nie- 
derschlage nach Regen, Hagel oder Schnee aufgrund der GroBe und Flugbahn erfolgt. 

21) Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass eine Abschatzung der Sei- 
tenwindverhaltnisse aufgrund der Flugbahn der Niederschlage erfolgt. 

22) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass die Befahrbarkeit eines Umgebungsabschnittes auf Basis der 
3D- Information und vorgegebener Parameter des Verkehrsmittels erfolgt, insbesondere 
die Beurteilung der Durchfahrtsmoglichkeit nach Breite oder Hohe oder eine Beurteilung 
der Bodenunebenheiten im Vergleich mit der vorhandenen Bodenfreiheit des Fahrzeugs 
moglich ist. 
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23) Verfahren zum Betreiben eines Verkehrsmittels nach einem der Anspruche 1 oder 2, da- 
durch gekennzeichnet, dass als Andockhilfe vorgegebene Andockpunkte erkannt und das 
Fahrzeug automatisch an den Andockpunkt gefahren wird, um beispielsweise ein genaues 
Anhalten an Servicestationen, zur automatischen Betankung, Drive-ln-Restaurants und fur 
gewerbliche Fahrzeuge an Laderampen ermoglichen. 
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